Hà Hồng Sân sinh ra trong gia cảnh giàu có,[12]từng chia sẻ rằng:"Gia đình có quá nhiều tiền, được chiều đến hư. Đầu tiên chúng tôi có ô tô rồi lại đến du thuyền, ngôi nhà của chúng tôi nằm ở khu dân cư Mid-levels thượng lưu thuộc đảo Hồng Kông, sát đường Macdonnell (麦当劳道), dài đến mức có thể được sử dụng để chạy." [8]

Cuộc sống kiểu vậy đã kết thúc đột ngột khi Hà Hồng Sân 13 tuổi. Năm 1934, cha là Hà Thế Quang vỡ nợ vì chứng khoán, phải cầm cố tài sản và sang lánh nạn tại Việt Nam, gia cảnh sa sút. Hà Hông Sân nhớ lại biến cố khiến gia đình mình "ngập trong nợ nần chỉ sau một đêm" và nói: "Đêm đó, tôi đang ngủ say, và mẹ đột nhiên đánh thức tôi dậy, vừa khóc vừa nói với tôi: "A Cửu, chúng ta không còn tiền nữa". Tôi mở miệng và hỏi," Điều này có nghĩa là gì?." Mẹ đi theo và nói: "Con không cần học hành chăm chỉ nữa. Đến cuối năm, con sẽ phải ra ngoài tìm việc và làm việc". Tôi mất ngủ cả đêm hôm đó, không tin, tôi phải vật lộn, không còn lý do để làm bài kiểm tra hàng năm. Ông Hà Hồng Sân nói rằng cảm giác lúc đó chỉ có 3 từ để mô tả: Thật đáng buồn.

Khi đó, không có tiền đi xe buýt, đi bộ đến trường, không có tiền mua sách học, mọi cách chỉ có thể dựa vào học bổng. Ông nhớ lại trong một cuộc phỏng vấn với các phóng viên: "Có lần tôi đi xe buýt, phải mất nửa ngày để tìm một xu, kết quả được cho là tiền giả, thật khổ sở."[8]

Ông vào học tại trường trung học Queen's College, Hồng Kông. Tại đây, ông được xếp vào lớp D - lớp có trình độ thấp nhất trong hệ thống các lớp ở Hồng Kông do kết quả không đạt yêu cầu. Sau khi nhận ra rằng học hành cần mẫn là cách duy nhất để cải thiện địa vị xã hội của mình. [13]

Năm 1939, ông được nhận vào Đại học Hồng Kông.[14] Hà Hồng Sân đã trở thành học sinh đầu tiên từ lớp D được nhận học bổng vào đại học. [15] Việc học đại học của ông bị gián đoạn một thời gian ngắn do Chiến tranh thế giới thứ II.